Không rõ Lý Hoài Tiên chào đời khi nào và cha mẹ ông là ai, chỉ biết nguyên quán ở của ông là Liễu Thành[3]. Tổ tiên nhiều đời của ông là người Hung Nô, từng phục vụ cho các thế hệ Khả hãn Đột Quyết. Ban đầu, ông chỉ là một tướng cấp thấp cho nhà Đường, đóng tại Liễu Thành.
